Metric	Score
Weighted-F1	38.03
Hyphens-F1	0.00
Comma-F1	42.15
Ellipsis-F1	0.00
Fullstop-F1	42.80
QMark-F1	57.69
Colon-F1	21.65
Excl-F1	0.00

Metric	Score
Weighted-F1	34.40
Hyphens-F1	0.00
Comma-F1	38.70
Ellipsis-F1	100.00
Fullstop-F1	39.29
QMark-F1	41.36
Colon-F1	18.26
Excl-F1	0.00

Metric	Score
Weighted-F1	33.29
Hyphens-F1	0.00
Comma-F1	37.74
Ellipsis-F1	100.00
Fullstop-F1	38.23
QMark-F1	50.00
Colon-F1	14.49
Excl-F1	0.00

Metric	Score
Weighted-F1	30.11
Hyphens-F1	0.00
Comma-F1	33.15
Ellipsis-F1	100.00
Fullstop-F1	35.44
QMark-F1	48.67
Colon-F1	15.60
Excl-F1	0.00

worst items

note: the gold standard is taken from the challenge

#	input	expected output	actual output	test-D Comma-F1
1	wikinews183687 39 letni szkocki rajdowiec colin mcrae prawdopodobnie zginął w katastrofie helikoptera squirrel którym leciał wraz ze swoim p…	O B-COMMA O B-COMMA O B-COMMA O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O B-COMMA O O …	0.00
2	wikinews229939 lider pucharu świata fin janne ahonen wywalczył złoty medal w indywidualnym konkursie o mistrzostwo świata w skokach narciars…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-…	O O B-COMMA O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
3	wikinews225483 w domu kultury 502 w łodzi ul a sacharowa 16 na widzewie wschodzie od 23 października 1990 r działa widzewska galeria ekslibr…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O B-COMMA O O O O O O O B-COMMA O …	O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O …	0.00
4	wikinews182510 około godziny 11 00 w okolicy skrzyżowania ulic lisowskiej i żeromskiego w warszawie podczas prac remontowych doszło do uszko…	O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O B-COMMA O O O O O O O O O O O O B-COMMA O O O B-COMMA O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O B-COMMA O O B-COMMA O O O O O O O O O B-COMMA O O O B-COMMA O O O O O O O O O O O …	0.00
5	wikinews188914 potrzeba zaproszenia armii amerykańskiej na polskie terytorium w celu " obrony przed rosyjską agresją " jest " mało zrozumiał…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O …	O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA …	0.00
6	wikinews184437 szef unii chrześcijańsko demokratycznej i wicepremier czech jiří čunek poinformował w czwartek że 7 listopada poda się do dym…	O O O O O O B-COMMA O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O …	O O O O O B-COMMA O B-COMMA O O B-COMMA O O O O O O O O O O O B-COMMA O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O B-CO…	0.00
7	wikinews235480 covid 19 22 marca 2020 na godzinę 15 0 potwierdzono 321 tysięcy przypadków koronawirusa z czego 13 tysięcy osób zmarło około …	O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O B-COMMA O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O B-CO…	O O O O O O O O O O O B-COMMA O O O O O B-COMMA O O O O O O B-COMMA O O O O O O B-COMMA O O O O O O O O O O O O O O O B-COMMA O O O O O O B-…	0.00
8	wikinews188420 w dniach 9 12 lipca w bielawie w województwie dolnośląskim odbył się po raz jedenasty zlot miłośników literatury j r r tolkie…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O B-COMMA O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O B-COMM…	0.00
9	wikinews190316 usterka przyrządów mierniczych uniemożliwia potwierdzenie stanu reaktora nr 3 japońskiej elektrowni jądrowej fukushima daiich…	O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O B-COMMA O O O O O O O O O O O O O O …	O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O B-COMMA O B-COMMA O O O O O O O O O O O O …	0.00
10	wikinews181292 w czwartek w warszawskim centrum olimpijskim odbyła się konferencja prasowa inaugurująca sezon kolarski 2007 na spotkaniu poz…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O B-COMMA O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O B-COMMA O O O B-COMMA O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O …	0.00
11	wikinews218360 na terenach wystawowych w pradze w dniach 13 16 maja 2010 r odbyły się targi książki svět knihy w tym roku gościem honorowym …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O B-COMMA …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O B-COMMA O …	0.00
12	wikinews186513 " poczuj się jak gwiazda " pod tym hasłem będzie przebiegał kolejny już dzień otwarty telewizji polskiej podczas spotkania z …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O B-COMMA O O O O O O O O O O O O B-COMMA O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O B-COMMA O O O O O O O O O O O O O O O O B-COMM…	0.00
13	wikinews239126 o godzinie 12 06 04 czasu polskiego chiny wystrzeliły sondę księżycową chang'e 1 jest to pierwszy chiński statek kosmiczny wy…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O B-COMMA O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O …	0.00
14	wikinews228267 o godzinie 15 40 premier jarosław kaczyński ma spotkać się z czterema pielęgniarkami które od wtorku okupują kancelarię premi…	O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O B-COMMA O O O O O O O O …	O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O …	0.00
15	wikinews231823 o godzinie 9 54 lokalnego czasu w podziemiach san francisco gdzie znajdowały się transformatory elektryczne firmy pacific gas…	O O O O O O O O O O O O O O O O O O O B-COMMA O O B-COMMA O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O B-COMMA O O O O …	O O O O O O O O B-COMMA O O O O O O O O O B-COMMA O O B-COMMA O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O B-COMMA O O …	0.00
16	wikinews188892 44 letni ali al marri " uśpiony agent " al kaidy został skazany na 8 lat więzienia przez amerykański wymiar sprawiedliwości p…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O B-COMMA O O O O B-COMMA O O O O O O O O O O …	0.00
17	wikinews195573 dziewiąta edycja festiwalu ewentualnych talentów aktorskich organizowana przez centrum kultury agora we wrocławiu odbędzie si…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O …	O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
18	wikinews231413 między 15 a 18 lipca 2007 roku lech kaczyński wraz z małżonką odbył podróż do stanów zjednoczonych w pierwszym dniu wizyty ma…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O B-COMM…	0.00
19	wikinews181623 rosja całkowicie odrzuciła możliwość przyjęcia europejskiej karty energetycznej " nie ma nadziei na kompromis ta sprawa zosta…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O …	0.00
20	wikinews183932 reprezentacja polskich siatkarek kroczy od zwycięstwa do zwycięstwa podczas mistrzostw europy w ostatnim spotkaniu drugiej ru…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O …	0.00
21	wikinews186638 nadal nie wiadomo kto pojawi się na balu organizowanym przez prezydenta rp lecha kaczyńskiego kancelaria prezydenta nie wysła…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O …	O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O …	0.00
22	wikinews237934 podczas wczorajszego nabożeństwa w meczecie w rafah lider radykałów salafickich z ugrupowania dżund ansar allah abdel latif m…	O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O B-COMMA …	0.00
23	wikinews227876 " uroczyście ogłaszam poniedziałek dniem radości narodowej awans do mistrzostw europy 2008 to historyczny moment " powiedział…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O …	0.00
24	wikinews195014 chcę stworzyć ramy " oddechu duchowego " dla kościołów i związków wyznaniowych powiedział michał boni na spotkaniu z przedsta…	O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O …	0.00
25	wikinews185330 83 letni były strażnik więzienny ss został skazany na dożywocie we włoszech za nazistowskie zbrodnie wojenne został umieszczo…	O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O B-COMMA O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O …	0.00
26	wikinews230864 prezydent francji jacques chirac opuścił dziś wojskową klinikę val de grace w której spędził tydzień czasu powodem pobytu był…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O B-COMMA O O O B-COMMA O O O O O O …	O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O …	0.00
27	wikitalks001872 dlaczego eurocopter ec725 super cougar i dalej " " a h225m caracal jak znam życie i ryst tą samą maszyną co ej ein ek to ec7…	O O O O O O O O B-COMMA O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O B-COMMA O O O O O O O O O B-COMMA O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O B-COMMA O O O B-COMMA O O O O O O O O O …	0.00
28	wikinews215176 po obaleniu w wyniku antyrządowych protestów prezydent kirgistanu kurmanbek bakijew miał według mediów dziś rano udać się na …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O B-COMMA O O O O O O O O O O O O …	O O O O O O O B-COMMA O B-COMMA O O B-COMMA O O O O O O O O O O O O O B-COMMA O O B-COMMA O O O O O O O O O O O O O O B-COMMA O O O O O B-CO…	0.00
29	wikinews189958 w minionym tygodniu rozpoczęła się w chinach budowa bloku elektrowni jądrowej ningde 4 na dwóch innych placach budowy reaktor…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
30	wikitalks0012407 zgłoszenie zostało przeniesione z wikipedia zgłoś błąd w artykule ponieważ prawdopodobnie nie zostało rozwiązane w ciągu 45…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O B-COMMA O O O O O O O O O B-COMMA O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O B-COMMA O O O O O O O O O B-COMMA O O O …	0.00
31	wikinews185273 " european passion play 2008 " pod ta nazwą symfoniczno metalowy zespół z finlandii nightwish rozpocznie swoją trasę koncerto…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O B-COMMA O O O O O O O O O O O O B-…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O B-COMMA O O O O O O O O O O O O O O O O …	0.00
32	wikinews196203 w dniach 4 8 lipca 2012 r w sercu parku krajobrazowego lasy janowskie odbędzie się festiwal muzyki tradycyjnej " na rozstajny…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O B-COMMA O O O O …	0.00
33	wikinews195555 w dniach 11 18 lipca 2010 w zagrodzie kurpiowskiej w kadzidle będzie miała miejsce letnia szkoła muzyki ludowej na kurpiach p…	O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O B-COMMA O O O O O B-COMMA O O O O O O O O O O O B-COMMA O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O B-COMMA O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O …	0.00
34	wikinews228342 w przypadku nowych wyborów parlamentarnych na listach pis znajdą się osoby związane z rozgłośnią radiową radio maryja donosi …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O B-COMMA O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O B-COMMA O O O O O O O O B-COMMA O O O O O O B-COMMA O O O O O O O …	0.00
35	wikitalks005743 boże widzisz takie hasło i nie grzmisz gdzie moderator taki tekst nie powinien się gdziekolwiek ukazywać jest straszny pod k…	O O O O O O O O O O O O O O O B-COMMA O O O O O O O O B-COMMA O O O B-COMMA O O O O O O O O O B-COMMA O O B-COMMA O O O O O O O O O O O B-CO…	B-COMMA O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O B-COMMA O O O O O B-COMMA O O O O O O B-COMMA O O O O O O O O O O O O O O …	5.71
36	wikitalks004346 w odniesieniu do ich surowego życia może coś przeoczyłem ale nie widzę 'fantazyjności' nie szukając daleko finezyjne jak to …	O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O B-COMMA O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	6.45
37	wikinews230609 izraelska rakieta uderzyła w budynek presstv leżący w strefie gazy według agencji informacyjnych inne stacja telewizyjne al a…	O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O B-COMMA O O O B-CO…	O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O B-COMMA O O O O O O O O …	7.41
38	wikitalks0016312 od kiedy death metal i black metal to odmiana heavy metalu od zgoła 20 lat 1 motorhead judas priest venom death death metal…	O O O O O O O O O O O O O O O O B-COMMA O O O O O O O B-COMMA O O B-COMMA O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O …	O O O O O O O O O O O O O O O O B-COMMA O B-COMMA O O O O B-COMMA O B-COMMA O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O …	7.41
39	wikinews181052 jak poinformowała telewizja sky news brytyjska policja zatrzymała drugiego podejrzanego w sprawie zabójstw prostytutek w ipsw…	O O O O B-COMMA O O O O O O O O O O O O O O O O O B-COMMA O O O O O O B-COMMA O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O …	O O O O B-COMMA O O O O O O O O O O O O O O O O B-COMMA O O O O O O B-COMMA O O O O O O O O O O O O O O O B-COMMA O O O O O B-COMMA O O O O …	7.69
40	wikinews188191 prawybory do parlamentu europejskiego zostały zorganizowane we wrześni i opocznie głosowania zakończyły się godz 17 30 według…	O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O B-COMMA O O O O O O O O O O O B-COMMA O O O O O B-COMMA O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O B-COMMA O O O O O O O O O O O B-COMMA O O B-COMMA O O B-COMMA O O O O O O …	7.69